パラダイムシフト：タスク特化型モデルからLLMへ

NLPの進化：分散型AIから基盤モデルへ

分散型AI：系列ラベリングや分類などの個別タスク専用に設計された、個別の特殊化されたニューラルアーキテクチャによって特徴づけられる時代。
基盤モデル：すべての言語問題を生成的テキスト間シーケンス $x \rightarrow y$ として扱う、統合された単一構造のTransformerアーキテクチャ。

アーキテクチャの統合： 歴史的に、NLPはカスタムされたパイプラインを必要としていました（NER用のBi-LSTM、感情分析用のCNNなど）。LLMはこれらのサイロを単一のバックボーンに統合し、すべてのタスクで同じ重みが使用されます。
統合インターフェース： LLMは特殊化された「出力ヘッド」（例：3クラスのSoftmax）を自然言語インターフェースに置き換えます。入力も出力も常に文字列であり、モデルは意図ではなく形式を解釈できます。
知識の転移： 従来のモデルは各タスクに対して「白紙の状態」でした。LLMは 汎化優先を重視し、具体的なタスクは、事前に獲得された強固な言語の内部表現を適用するだけにすぎません。

2018年以前： タスクの分離には、異なる損失関数 $\mathcal{L}_{task}$ を持つ個別のモデルのトレーニングが必要でした。
現代： 「Text-to-Text」パラダイムにより、単一のモデル（例：Llama-3）がゼロショットまたはフューショットのプロンプティングでタスクを切り替えることができます。

Python実装の比較

ケーススタディ：2018年の開発者 vs 現代の開発者

以下のシナリオを読み、質問に答えてください。

開発者は、ユーザー名を識別し（NER）、怒りを検出する（感情分析）チャットボットを構築する必要があります。従来のアプローチ（2つのモデル、2つのトレーニングセット、2つのデプロイパイプライン）とLLMアプローチ（Llama-3のような1つのモデル、2つのシステムプロンプト）を比較してください。

問

1. 2つのアプローチにおけるアーキテクチャのオーバーヘッドの主な違いは何ですか？

回答：
従来のアプローチでは、複数の異なるモデルをメモリ内でホスト・管理する必要がありますが、LLMアプローチでは、両方のタスクを処理する単一の単一構造モデルをホストするだけで済みます。

問

2. 新しいタスク（例：翻訳）を追加する場合、データ要件はどのように異なりますか？

回答：
従来は、翻訳を追加するには新しいモデルをゼロからトレーニングするための大規模な並列コーパスが必要でした。LLMを使用する場合は、事前に獲得された知識を活用して、フューショットプロンプトやゼロショットの指示だけで済むかもしれません。

問

3. LLMアプローチでは、モデルはどのタスクを実行すべきかをどのように知るのでしょうか？

回答：
推論時に提供される自然言語プロンプトを通じて知ります。これは、モデルの生成的出力を導く統合インターフェースとして機能します。